Tháng 2 năm 1940, Jill Esmond đồng ý li dị Olivier, và Holman cũng li dị Leigh, mặc dù ông vẫn là người vô cùng quan trọng trong đời bà. Esmond được quyền giám hộ Tarquin, con trai với Olivier, và Holman dược quyền nuôi Suzanne, con gái với Leigh. Ngày 30 tháng 8 năm 1940, Olivier và Leigh kết hôn tại Santa Barbara, California, trong một hôn lễ chỉ có mặt 2 nhân chứng, Katharine Hepburn và Garson Kanin.

Leigh hi vọng được đóng cặp cùng Olivier trong Rebecca của đạo diễn Alfred Hitchcock và Olivier thủ vai chính, nhưng sau khi xem diễn xuất của bà, Selznick được Hitchcock và cố vấn của Leigh, George Cukor góp ý rằng "cô ta có vẻ không tương xứng về tuổi tác, sự thật thà, trong sáng". Selznick cũng thấy rằng bà chẳng chút hứng thú với vai này cho đến khi Olivier chính thức nhận vai chính. Ông cũng không cho bà và Olivier cùng tham gia Kiêu hãnh và Định kiến (1940), và Greer Garson đã diễn vai Leigh đang nhắm tới. Waterloo Bridge (1940) ban đầu hội tụ cả Olivier và Leigh; tuy nhiên, Selznick thay Olivier bởi Robert Taylor, sau đó là nam diễn viên nổi tiếng nhất của Metro-Goldwyn-Mayer. Sự quảng bá rầm rộ tên tuổi Leigh phản ánh khởi điểm của bà tại Hollywood, và mặc dù rất miễn cưỡng diễn khi thiếu Olivier, bộ phim không chỉ nổi tiếng với khán giả và giới phê bình mà sau đó cũng trở thành bộ phim yêu thích của bà.

Bà và Olivier cùng dàn dựng Romeo và Juliet trên sân khấu Broadway. Trong khi đó, công chúng New York xôn xao về vụ ngoại tình của Olivier và Leigh trước hôn nhân và nghi ngờ về đạo đức của họ khi không trở lại Tổ quốc để đóng góp trong Thế chiến II; giới phê bình cũng phản đối sự thiếu cộng tác trong quá trình làm phim của họ. Brooks Atkinson của New York Times viết, "Mặc dù bà Leigh và ông Olivier đều trẻ trung và xinh đẹp nhưng họ chẳng mấy khi diễn hết mình". Dự án hai người theo đuổi nhanh chóng thất bại.

Họ đóng Bà Hamilton (1941) với Olivier vai Horatio Nelson và Leigh vai Emma Hamilton. Đó là một trong những bộ phim tình cảm Hollywood xoay quanh giới thượng lưu Anh và nhắm vào công chúng Mĩ. Bộ phim nổi tiếng tại Mĩ và cũng thành công ở Liên Xô. Winston Churchill đã tổ chức một bữa tiệc có cả Franklin D. Roosevelt và trong diễn văn kết thúc, ông nói "Quý vị, tôi nghĩ bộ phim này làm hài lòng các vị, nó đã phản ánh chân thực những sự kiện như những gì chúng ta đang tham dự". Vợ chồng Olivier trở thành diễn viên yêu thích của Churchill, được tham dự những bữa tối và thỉnh thoảng cả những lúc thư giãn của ông. Ông nhận xét về Leigh "Với Zeus, bà ấy là tảng xi măng "

Vợ chồng Olivier trở lại Anh, và Leigh công diễn khắp Bắc Phi năm 1943, trước khi mắc chứng sốt và ho liên miên. Năm 1944, bà được chẩn đoán nhiễm lao ở phổi trái, nhưng sau vài tuần nằm viện, bà lại xuất hiện trước công chúng. Đến mùa xuân, đang đóng phim Caesar và Cleopatra (1945) Leigh phát hiện mình có thai, nhưng sẩy thai ngay sau đó. Bà rơi vào suy sụp và đạt tới đỉnh điểm khi liên tục hành hạ Olivier cả về tinh thần và thể xác cho đến khi bà xảy chân ngã từ trên lầu xuống. Đó là một trong những triệu chứng đầu tiên của bệnh rối loạn tâm thần. Olivier bắt đầu nhận ra bệnh hiếu động thái quá định kì của Leigh do tuyệt vọng và trầm cảm. Sau đó Leigh không còn ký ức gì về các vụ việc này, nhưng bà tỏ ra xấu hổ và hối hận sâu sắc.

Bà đủ sức đóng phim trở lại năm 1946, trongThe Skin of Our Teeth của hãng phim nổi tiếng London Thornton Wilder, nhưng lần này cũng như một số phim trước, Caesar and Cleopatra (1945) và Anna Karenina (1948), không mấy thành công.

Năm 1947 Olivier được phong tước hiệp sĩ, và Leigh cùng ông tới Điện Buckingham dự lễ sắc phong. Bà trở thành Phu nhân Olivier, và sau khi li dị, bà vẫn là cựu hiệp sĩ phu nhân, Vivien, Phu nhân Olivier

Năm 1948 Olivier ở trong ban đạo diễn của rạp Old Vic, ông và Leigh lên tàu cho chuyến đi Australia và New Zealand để gây quỹ cho nhà hát. Suốt 6 tháng, Olivier diễn vở Richard III, diễn cùng Leigh trong The School for Scandal và The Skin of Our Teeth. Chuyến lưu diễn là một thành công vang dội quốc tế, mặc dù Leigh luôn cảm thấy khó ở vì chứng mất ngủ và để người đóng thế một tuần trong khi ốm. Thành viên đoàn sau đó đã kể lại những lần xô xát của cặp đôi khi Leigh không chịu lên sân khấu. Olivier tát bà và Leigh tát trả rồi chửi rủa ông trước khi mở màn. Kết thúc chuyến đi, cả hai kiệt sức và ngã bệnh, và Olivier nói với cánh nhà báo, "Các bạn có thể không biết, nhưng các bạn đang nói chuyện với hai xác chết biết đi". Sau đó ông nói rằng ông đã "đánh rơi Vivien" ở Australia.